Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment
不同教师不同能力：亚十亿参数设备端蒸馏结构化文本富集
🧭 知识蒸馏 · 小模型结构化抽取
揭示推理教师、指令教师、管道教师蒸馏小模型时传递不同能力，形成设备端结构化提取的任务级路由策略。
📌 工作参考价值（4 点）
- 电商商品描述/标签生成场景可用大模型推理教师蒸馏到<1B端侧模型，大幅降低延迟（论文中从39秒降到0.8秒），适合高吞吐在线结构化提取。
- QLoRA微调0.6B小模型仅需有限资源即可复现，蒸馏时保留教师推理能力的关键是教师需具备推理特性，而非仅规模放大。
- 不同教师传递不同能力：推理教师转移写作质量，管道教师转移标签多样性，指令教师更忠实；可据此构建“字段级路由器”，对关键字段（如标题摘要）用推理蒸馏模型，对需要忠实性的字段用指令蒸馏模型。
- 采用三位法官盲评的无参考评估方式，结合约束解码作为基线，可作为业务中自动化评估生成质量的参考方案。